Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

In this paper we look into the conjecture of Entezari et al. (2021) which states that if the permutation invariance of neural networks is taken into account, then there is likely no loss barrier to the linear interpolation between SGD solutions. First, we observe that neuron alignment methods alone are insufficient to establish low-barrier linear connectivity between SGD solutions due to a phenomenon we call variance collapse: interpolated deep networks suffer a collapse in the variance of their activations, causing poor performance. Next, we propose REPAIR (REnormalizing Permuted Activations for Interpolation Repair) which mitigates variance collapse by rescaling the preactivations of such interpolated networks. We explore the interaction between our method and the choice of normalization layer, network width, and depth, and demonstrate that using REPAIR on top of neuron alignment methods leads to 60%-100% relative barrier reduction across a wide variety of architecture families and tasks. In particular, we report a 74% barrier reduction for ResNet50 on ImageNet and 90% barrier reduction for ResNet18 on CIFAR10.

本文研究了静态稀疏对训练有素网络对扰动，数据腐败和对抗性示例的鲁棒性的影响。我们表明，通过增加网络宽度和深度，同时保持网络容量固定，稀疏网络始终匹配，并且通常优于其最初密集的版本，从而达到了一定的稀疏性。由于网络层之间的连通性松动而导致非常高的稀疏性同时下降。我们的发现表明，文献中观察到的网络压缩引起的快速鲁棒性下降是由于网络容量降低而不是稀疏性。

现实世界机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，可能导致性能下降。在这项工作中，我们研究了仅使用标记的源数据和未标记的目标数据来预测目标域精度的方法。我们提出了平均阈值的置信度（A​​TC），一种实用的方法，用于了解模型的置信度的阈值，预测精度作为模型置信度超过该阈值的未标记示例的分数。 ATC优于多种模型架构的先前方法，分发班次类型（例如，由于综合损坏，数据集再现或新颖的群体）和数据集（野外，想象成，品种，CNIST）。在我们的实验中，ATC估计目标性能$ 2 $ 2美元 - 比以前的方法更准确地获得4美元。我们还探讨了问题的理论基础，证明通常，识别精度与识别最佳预测因子一样难以识别，因此，任何方法的功效都依赖于（可能是未列区）假设对移位的性质。最后，在一些玩具分布中分析了我们的方法，我们提供了有关其工作时的见解。

在本文中，我们推测，如果考虑到神经网络的置换不变性，SGD解决方案可能不会在它们之间的线性插值中没有障碍。尽管这是一个大胆的猜想，但我们展示了广泛的经验尝试却没有反驳。我们进一步提供了初步的理论结果来支持我们的猜想。我们的猜想对彩票票证假设，分布式培训和合奏方法有影响。

本文旨在提出和理论上分析一种新的分布式方案，用于稀疏线性回归和特征选择。主要目标是根据来自未知稀疏线性模型的嘈杂观测来了解高维数据集的几个因果特征。但是，在$ \ mathbb {r} ^ p $中包含$ n $ data样本的假定培训集已经在大型网络上分发，以通过极低的带宽链路连接的$ n $客户端。此外，我们考虑渐近配置$ 1 \ ll n \ ll n \ ll p $。为了从整个数据集推断出原因尺寸，我们提出了一种简单但有效的网络中的信息共享方法。在这方面，我们理论上表明，可以可靠地恢复真正的因果特征，其中o的$ o o \ lex（n \ log p \ light）$跨越网络。与将所有样本传输到单个节点（集中式场景）的微小情况相比，这产生了显着降低的通信成本，该沟通成本是需要$ o \ lef（np \右）$传输。诸如ADMM的更复杂的方案仍然具有$ o ox的通信复杂性（NP \右）$。令人惊讶的是，我们的样本复杂性被证明是与每个节点中固定性能测量的最佳集中方法的相同（最多常数因素），而NA \“{i} ve分散技术的最佳集中方法以$线性地增长N $。本文的理论担保是基于Javanmard等人的最近脱叠套索的分析框架。（2019），并由几个在合成和现实世界数据集上进行的几台计算机实验支持。

在过去的十年中，由于分散控制应用程序的趋势和网络物理系统应用的出现，网络控制系统在过去十年中引起了广泛的关注。但是，由于无线网络的复杂性质，现实世界中无线网络控制系统的通信带宽，可靠性问题以及对网络动态的认识不足。将机器学习和事件触发的控制结合起来有可能减轻其中一些问题。例如，可以使用机器学习来克服缺乏网络模型的问题，通过学习系统行为或通过不断学习模型动态来适应动态变化的模型。事件触发的控制可以通过仅在必要时或可用资源时传输控制信息来帮助保护通信带宽。本文的目的是对有关机器学习的使用与事件触发的控制的使用进行综述。机器学习技术，例如统计学习，神经网络和基于强化的学习方法，例如深入强化学习，并结合事件触发的控制。我们讨论如何根据机器学习使用的目的将这些学习算法用于不同的应用程序。在对文献的审查和讨论之后，我们重点介绍了与基于机器学习的事件触发的控制并提出潜在解决方案相关的开放研究问题和挑战。